인공지능 분야에서 시퀀스 모델링은 정적인 스냅샷에서 벗어나 시간 흐름으로의 초점 이동. 일반적인 기계학습 작업은 데이터 포인트들이 독립적이고 동일하게 분포된 (IID)라는 가정을 하며, 샘플의 순서가 결과에 영향을 주지 않는다는 의미입니다.

시퀀스 모델링은 이를 명확히 거부하며 세 가지 핵심 요소에 집중합니다:

• 위반되는 순열 불변성: 표 형식 데이터에서는 열의 순서는 임의입니다. 시퀀스에서는 순서가 핵심 특징입니다. "고양이가 쥐를 먹었다"를 "쥐가 고양이를 먹었다"로 바꾸면 본질적으로 의미적 진실 비슷한 토큰에도 불구하고 달라집니다.
• 자기회귀적 특성: 우리는 시간 $t$의 관측값이 과거($t-1$, $t-2$, ..., $1$)에 수학적으로 조건화되어 있다고 가정합니다. 이는 정보의 변화 양상을 포착하기 위해 전이 확률이 필요하다는 것을 의미합니다.
• 변형 길이 매핑: 고정된 28×28 픽셀 그리드와 달리, 문장이나 지진파 같은 시퀀스는 탄력적입니다. 모델은 길이 $N$의 입력을 처리하고 일관된 파라미터로 길이 $M$의 출력을 생성해야 합니다.